首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏CVer

    亚马逊提出:目标检测训练秘籍(代码已开源)

    本文介绍一篇很棒的目标检测训练技巧论文。该论文是由Amazon Web Services 提出,其中作者团队中就有李沐等大神。 由于网络结构和优化目标明显更加复杂,因此针对某些检测算法而不是其他检测算法专门设计了各种训练策略和 pipelines。 我们的实验表明,这些训练秘籍(freebies)可以在精度上增加5%,因此每个人都应该考虑在一定程度上将这些训练秘籍应用于目标检测训练中。 ? 正文 主要贡献 1)我们是第一个系统地评估各种目标检测 pipelines 中应用的各种训练启发式方法,为未来的研究提供了有价值的实践指导。 本论文中,将一小批N个训练图像的大小调整为Nx3xHxW,其中H和W是D = randint(1; k)的multipliers。

    1.6K50发布于 2019-03-06
  • 来自专栏DeepHub IMBA

    Agent Lightning:微软开源的框架无关 Agent 训练方案,LangChainAutoGen 都能用

    但到了优化这一步,用真实场景的反馈去训练 Agent、提升它的表现基本就只能靠自己摸索了。 微软的研究人员给这个问题起了个名字叫"training gap"。 微软的说法是这套方案"可以无缝地为任何现有 Agent 启用模型训练,无需对 Agent 代码做任何修改。" Agent Lightning 的工作原理 Agent Lightning 在现有 Agent 代码和微软的 verl 训练基础设施之间插入了一层客户端-服务器架构。 可以理解为一个翻译层:把 Agent 的交互记录转化成训练数据,优化完参数再塞回去。 具体流程是:Agent 照常运行,什么都不用改,但每一次交互都会被 Lightning 客户端截获。 特别值得说的是框架的兼容性:LangChain、AutoGen、CrewAI、微软自家的 Agent Framework都能接。团队管它叫"Lightning AI Agent 的终极训练器"。

    34010编辑于 2026-02-27
  • 亚马逊发布TEACh数据集训练家用机器人

    新数据集助力训练家用机器人执行人类指令亚马逊科学团队公开发布的TEACh数据集包含来自模拟环境的3000多组对话及关联视觉数据,旨在推动能完成复杂家务任务的AI助手研发。 完整对话记录输出:重建机器人全部动作序列TATC(双代理任务完成):需构建用户模型(生成指令)和机器人模型(执行动作)的协同系统验证架构可见分割(validation-seen/test-seen):评估训练房间内的泛化能力未见分割

    18800编辑于 2025-07-28
  • 来自专栏AI科技大本营的专栏

    亚马逊马超:如何使用DGL进行大规模图神经网络训练

    演讲嘉宾 | 马超(亚马逊应用科学家) 整理 | 刘静 与传统基于张量(Tensor)的神经网络相比,图神经网络将图 (Graph) 作为输入,从图结构中学习潜在的知识,该方法在近些年已被证明在许多场景可以取得很好的效果 基于此,在CSDN主办的2019 AI开发者大会(AI ProCon 2019)上,亚马逊应用科学家马超,同时也是 DGL 项目的合作作者,发表了《使用 DGL 进行大规模图神经网络训练》的主题演讲。 正是因为存在这些问题,去年我们亚马逊 AWS 联合 NYU 以及 NYU上海,一起推出了 DGL 这个平台,用来帮助用户解决上述的这些问题。 这个架构有三层,最底层是采样器,中间这层的 trainer 是训练器,最上面是DGL-PS参数服务器。 如果图非常大,我们就先把大图切分成很多小图,再把它分到不同的机器或者不同的GPU上,每次训练时只使用一小部分的 miini-batch 数据,并且通过参数服务器来存储训练过程中需要的模型参数,trainer

    2.1K10发布于 2019-10-31
  • 来自专栏深度学习自然语言处理

    每日论文速递 | Agent-FLAN: Agent指令训练让开源大模型Agent能力更进一步

    论文通过提出Agent-FLAN方法,旨在通过细致地分解和重新设计训练语料库,有效地为代理任务微调语言模型。 Q2: 有哪些相关研究? A:论文通过提出一个名为Agent-FLAN的方法来解决这个问题,该方法包含以下几个关键步骤: 对训练语料库的细致分解和重新设计:Agent-FLAN将代理训练数据中的格式遵循和一般推理分开,使得微调过程与语言模型的预训练领域 能力分解和数据平衡:Agent-FLAN进一步将代理任务分解为不同的基本能力方面,如推理、检索、理解和遵循指令。根据这些能力的不同学习速度,对训练数据进行平衡,以便更有效地训练模型。 未来的工作可以应用Agent-FLAN方法到更广泛的代理任务基准上。 充分利用训练数据:为了保持训练数据的质量,论文中只选择了ToolBench数据集中的一部分样本。 Agent-FLAN通过仔细分解和重新设计训练语料库,使Llama2-7B模型在多个代理评估数据集上的性能提升了3.5%。

    1K10编辑于 2024-03-26
  • 来自专栏技术汇总专栏

    教师-学生协同训练机制下的AI Agent加速方法研究

    教师-学生协同训练机制下的AI Agent加速方法研究一、引言随着人工智能(AI)模型的规模不断扩大,AI Agent 在自然语言处理、智能决策和多模态推理等场景中展现出了强大的能力。 如何在保证性能的同时,实现 模型压缩与加速,成为AI Agent落地的关键问题。 强化学习Agent蒸馏:在复杂环境中,用大模型指导小模型策略学习。多模态蒸馏:在视觉-语言Agent中,将视觉模型和语言模型的知识压缩到统一的学生模型。 训练循环optimizer = torch.optim.Adam(student.parameters(), lr=1e-3)# 先训练教师模型(此处简化为预训练)for epoch in range( 适应性:便于在边缘设备或移动端部署AI Agent。挑战教师模型选择:教师模型越强,学生模型蒸馏效果越好,但训练成本也更高。蒸馏策略设计:如何结合多任务、多模态蒸馏仍是研究难点。

    39410编辑于 2025-08-28
  • 来自专栏AI研习社

    用基于 TensorFlow 的强化学习在 Doom 中训练 Agent

    在我们的例子中,我们将会收集多种行为来训练它。我们将会把我们的环境训练数据初始化为空,然后逐步添加我们的训练数据。 ? 接下来我们定义一些训练我们的神经网络过程中将会用到的超参数。 ? 训练 Agent 我们现在已经准备好去训练 Agent 了。我们使用当前的状态输入到神经网络中,通过调用 tf.multinomial 函数获取我们的动作,然后指定该动作并保留状态,动作和未来的奖励。 根据我们的初始权重初始化,我们的 Agent 最终应该以大约 200 个训练循环解决环境,平均奖励 1200。OpenAI 的解决这个环境的标准是在超过 100 次试验中能获取 1000 的奖励。 允许 Agent 进一步训练,平均能达到 1700,但似乎没有击败这个平均值。这是我的 Agent 经过 1000 次训练循环: ? 在某些方面,我不会认为这个 Agent 是完全智能的。Agent 也几乎无视了左转。Agent 用了一个简单的策略,它已经会自我学习,还挺有效的。 ? 图 5.

    1.3K50发布于 2018-03-16
  • 来自专栏网络安全技术点滴分享

    ART (Agent Reinforcement Trainer) - 强化学习框架训练多步任务智能体

    项目标题与描述ART (Agent Reinforcement Trainer) 是一个开源的强化学习框架,专注于训练能够处理多步任务的智能体。 项目核心价值在于:采用GRPO算法进行智能体训练创新的RULER系统自动生成奖励函数支持真实世界复杂任务的训练场景提供云端(SkyPilot)和本地训练选项项目状态活跃,最新版本持续更新中。 功能特性核心功能RULER自动奖励系统:使用LLM作为评判者自动评分轨迹无需手工设计奖励函数支持多任务通用评分灵活的训练部署:支持云端集群训练(SkyPilot)本地开发环境支持VSCode远程开发集成多领域任务支持 :零售领域任务(订单处理、退换货等)航空领域任务(机票预订、改签等)自定义任务扩展强化学习工具链:轨迹收集与评估模型训练与部署性能监控(W&B集成)独特价值开发效率提升:相比传统RL方法节省2-3倍开发时间通用性强 :同一套系统可应用于不同领域任务性能优越:在基准测试中超越手工设计奖励函数安装指南系统要求Python 3.8+CUDA 11.7+ (GPU训练需要)UV包管理器(推荐)安装步骤克隆仓库:git clone

    68800编辑于 2025-07-30
  • 来自专栏雨过天晴

    原 CentOS(亚马逊EC2,亚马逊班)

    autoconf automake libtool make cmake yum -y install zlib zlib-devel openssl openssl-devel pcre-devel 因为用的是亚马逊的定制系统

    99230发布于 2018-06-04
  • 来自专栏福大大架构师每日一题

    亚马逊放大招!开源5级通用AI Agent,轻松查航班、天气,狂揽4000+星!

    全球云计算领军企业亚马逊云(AWS)近日宣布开源其5级通用AI Agent框架——Multi-Agent Orchestrator。 检索器(Retrievers):通过提供上下文和相关信息,增强基于大语言模型(LLM)代理的表现,确保能够按需获取必要的信息,而不仅依赖于训练数据。 Multi-Agent系统能够处理流式和非流式的Agent响应,以适应不同的应用场景和数据传输需求。 一旦选定Agent,用户的输入将被传送给该Agent进行处理。每个Agent在处理请求时会自动检索自己的对话历史,以记住之前与用户的交流,从而不会干扰到其他Agent的工作。 Agent产生的响应可以是标准格式或流式传输,这取决于Agent的功能和设置。

    1.3K20编辑于 2025-03-24
  • 来自专栏猴子聊数据分析

    亚马逊店铺分析

    ---- 大家好,我是Nicolas,目前主要负责亚马逊的数据分析。 prime是亚马逊针对买家的一项会员服务,所有参与prime活动的店铺卖家都要保证客户的订单可以两日内送达。 某一天,总经理找到我: 我们有一个亚马逊店铺之前做prime的活动,但是现在因为某些指标没有达标,所以活动挂掉了。 你能不能分析一下挂掉的原因,然后找到问题的责任所在呢? 当时我正在看小说,哎。 二、分析问题 1、根据亚马逊后台给出的数据我们的prime及时送达率只有90%,低于标准。 2、那么是什么原因造成及时送达率低呢?

    94620发布于 2019-08-19
  • 来自专栏小七的各种胡思乱想

    Agent训练方案: RStar2 & Early Experience etc

    本文将带你深入四种前沿的Agent训练方案:ReTool, RAGEN, RStar2, 和 Early Experience,看它们如何巧妙地设计环境、利用反馈,让Agent不仅“能干”,而且“聪明” ReTool是最基础的RL Agent训练,整体流程基本参考了DeepSeek R1-Zero的训练过程通过先SFT再RL的两阶段训练流程,教会模型在推理过程中何时调用单一Code工具,通过单轮或多轮工具调用进行任务完成 Agent RL训练无外乎以下几个核心要素:环境构建、轨迹生成、RL训练。 最近Meta放出的这篇重量级论文其实和前面的Agent RL都有些不同,个人感觉它并非用于替代Agent RL训练,相反是用于在Agent RL之前搭建LLM和Agent的桥梁。 本质上笔者感觉和阿里之前推出的Agentic CPT,在LLM之后增加Agent轨迹的后训练思路有些相似(哈哈虽然论文里说的出发点截然不同),但Early Experience的训练目标和训练数据构建方案更

    82630编辑于 2025-10-29
  • 来自专栏AI科技评论

    动态 | 再无需从头训练迁移学习模型!亚马逊开源迁移学习数据库 Xfer

    AI 科技评论按:所谓的「迁移学习」,是指重新利用已训练的机器学习模型来应对新任务的技术。 它给深度学习领域带来了许多好处,最明显的是,一旦无需从头开始训练模型,我们可以省下大量的计算、数据以及专业知识等资源。 近期由亚马逊开源的 Xfer 数据库,可以让我们轻松应用及打造迁移学习原型,AI 科技评论将亚马逊算法工程师 Andreas Damianou 关于此库的介绍博文节译如下。 ? 基于元模型的迁移学习 在该例子中,ModelHandler 用于获取已在源任务上预先进行训练的神经网络参数 W。在保持 W 原来参数的基础上,我们通过源任务中的预训练神经网络传递目标输入数据。 基于微调的迁移学习 与上个任务很类似,ModelHandler 用于获取在源任务上预训练的神经网络参数 W,该源模型可以是预先训练好的 VGGNet。

    72750发布于 2019-11-01
  • 来自专栏ATYUN订阅号

    亚马逊利用新的AI训练技术促进信息检索,无需大量手动注释的数据

    亚马逊Alexa部门的科学家详细介绍了一种方法“Content-Based Weak Supervision for Ad-Hoc Re-Ranking”,可以为需要较少人工监督的模型铺平道路。 这些可能会将训练数据集的大小从数万个条目增加到数百万个条目,从而产生性能更好的系统。 文档由人类手动标记为相关或不相关,并且在训练期间,AI系统学习最大化它们分配给处理样本的相关性分数之间的差异。 ? 从每对中,他们使用查询和相关文本(以及与查询相关但与相关文本相关性较低的文本)来训练机器学习模型。 当系统针对难以与给定新目标域中的数据区分的例子进行训练时,分数提高了35%。 团队表示,“通过使用该方法,可以在没有行为数据和有限的域内数据的情况下,在新的域上有效地训练神经排序模型。”

    73610发布于 2019-07-30
  • 来自专栏NLP/KG

    LLM 大模型学习必知必会系列(九):Agent微调最佳实践,用消费级显卡训练属于自己的Agent

    LLM 大模型学习必知必会系列(九):Agent微调最佳实践,用消费级显卡训练属于自己的Agent! SWIFT支持了开源模型,尤其是中小型模型(7B、14B等)对Agent场景的训练,并将loss-scale技术应用到agent训练中,使中小模型API Call能力更稳定,并支持使用单张商业级显卡进行 Final Answer: 模型的最终回答 3.微调 在Agent训练中,为了避免训练后造成严重知识遗忘,我们的数据配比为ms-agent:ms-bench数据集1比2,其中ms_agent共30000 4.3 训练后 通用知识 西湖醋鱼怎么做 新冠和普通感冒有什么区别 Agent能力 可以看到,训练后模型可以正确调用API并给出最终答案。 需要注意的是: 训练从LoRA变为全参数训练,知识遗忘问题会更加严重,数据集混合比例需要实际测试调整 部分模型可能在训练后仍然调用效果不佳,可以测试该模型本身预训练能力是否扎实 Agent训练集格式、语种有细节改变后

    2K00编辑于 2024-05-26
  • 来自专栏机器之心

    如何用Amazon SageMaker 做分布式 TensorFlow 训练?(千元亚马逊羊毛可薅)

    文中选择 Mask R-CNN 模型的关键原因有三个: 大型数据集上的 Mask R-CNN 分布式数据并行训练可增加通过训练管道的图像吞吐量,并缩短训练时间。 在训练期间,将通过网络接口从挂载于所有训练实例的共享 EFS 文件系统输入数据。 不要对任何数据源的训练时间性能进行假设。训练时间性能取决于众多因素;最好的做法是进行试验与测量。 在所有三种情形中,训练期间的日志和模型检查点输出会被写入到附加于每个训练实例的存储卷,然后在训练完成时上传到您的 S3 存储桶。 日志还会在训练过程中被注入到 Amazon CloudWatch,您可以在训练期间加以检查。

    4.2K30发布于 2020-08-07
  • 来自专栏服务端技术杂谈

    为了AgentAgent

    主要讲的是如何选取Agent主流框架的逻辑。 讨论了两种路径,workflows和agent。 我理解大概率是为了AgentAgent所找的一个所谓具有代表性的例子吧。 而且你现在用Agent,未来扩展性也是一个问题。 业务想要扩展一个新的场景逻辑,你敢直接用Agent承接吗? 有人说,我们会在Agent上线之前,充分评估模型,确保Agent可以适配新的业务场景需求。 但是业务不会等你Agent ready之后再开量啊。 而Agent更适合人机协作,比如AI Coding或其他chatbot,因为有个人在旁边可以为Agent的不可控进行兜底。 大家用Agent的目的很多时候并不是从第一性原理出发,很多时候都是为了AgentAgent,想一想Agent真的比workflow好吗?

    16110编辑于 2026-03-11
  • AI Agent 驱动的亚马逊自动化运营:企业级架构设计与成本效益分析

    但在亚马逊跨境场景中,核心决策数据(竞品价格动态、BSR排名变化、评论情感分布)被封锁在受到强力反爬保护的平台页面之后,获取成本极高,且获取后的数据质量直接决定了AIAgent能否做出有效决策。 实际运作中,它隐藏着三类系统性风险:运营连续性风险:亚马逊的反爬体系持续迭代,任何静态爬虫的平均稳定运行周期不超过两周。在关键业务节点(如大促期间)发生数据中断,会直接影响决策链路。

    27910编辑于 2026-03-11
  • 来自专栏不能显示专栏创建者

    亚马逊药房开业

    周二,亚马逊宣布将大举进军在线药房和处方业务。 这家电商巨头透露,它将在其平台上开设一家新的药店——亚马逊药房,顾客可以在他们的电脑上或通过该公司的移动应用程序完成药房交易。 亚马逊在一份声明中解释说,顾客将能够创建一个安全的药房档案来添加他们的保险信息,管理处方,并在结账前选择支付选项。 该公司还补充说,Prime会员可以在他们的会员身份中获得来自亚马逊药房(Amazon Pharmacy)的订单,并享受无限、免费的两天送货服务。 此外,该公司还宣布了一项针对亚马逊Prime会员的计划,允许他们在没有保险的情况下购买药物时打折购买。 该项目可在亚马逊药房(Amazon Pharmacy)和全美5万家药店购买,可为Prime会员节省80%的仿制药和40%的品牌药折扣。

    44900发布于 2020-12-25
  • 来自专栏飞总聊IT

    亚马逊开始裁员了。。。

    之前亚马逊的retail部门先是在10月4日正式的hiring freeze。10月27日,部分AWS的职位也被冻结了。 很多人都在想,亚马逊的裁员迟早也会到来的,这不,亚马逊的裁员终于来了。 这在亚马逊简直就是天堂一样存在的部门。 不但没有PIP,这个部门还一点都不卷。这也很不亚马逊。这个部门有一个部门福利。每个月的最后一个星期五全部门放假。 也就是说,这个部门比亚马逊其他部门多了12天假期。 我第一次听说亚马逊的这个部门Amazon Music竟然有如此不亚马逊的福利的时候,简直难以相信。难道这不应该是养老公司彩有一丝可能的福利吗? 能给出三个月带薪不用工作,自由活动转岗内部工作的裁员福利的,我觉得,这在亚马逊里面,确实是非常非常的厚道了。 总而言之,亚马逊的裁员终于发生了。 亚马逊想必也不会落伍的。我们拭目以待。

    50680编辑于 2023-01-10
领券